Cache Engineering for Agents
面向智能体的 Cache Engineering：直接操控 KV Cache 以降低长程 Agent 成本
🧭 Agent 长程执行 KV cache 直接操控与 serving 优化 ★ 深度解读
Tsinghua University · The Chinese University of Hong Kong
提出 cache engineering 让 Agent 通过 drop/repos 直接控制 KV cache，无需改轨迹或重算；AKV 服务系统实现 27.7% 成本下降与 1.51x P95 延迟加速
📌 工作参考价值（4 点）
- 在长程搜索/推荐 Agent 中，不要等上下文阈值触发全量 summary/trim；按消息角色和 recency 做 rolling drop 更划算。具体：保留所有 reasoning 与最近 N 轮 tool response 的 KV cache，丢弃更早的 tool response（如搜索结果、商品列表），可同时降低 cost 并维持甚至提升精度。该策略已在 BCP/SWE 等 benchmark 上比 48K/96K summarization 平均成本降 21.9–27.7%，且分数更高。
- 将 cache 操作从文本编辑中解耦：在 agent 网关中实现 stateless 接口，业务侧只需传完整 messages 和 drop/reposition 指令，由服务端维护物理 cache 状态；这样不会破坏并发请求间的 cache 重用与隔离，也便于恢复被驱逐状态。可直接参考 AKV 的 extended radix tree + drop-aware eviction + segment-batch attention 设计，在内部推理服务上提供类似能力，降低 P95 延迟。
- 把“缓存管理”作为 tool 暴露给 LLM，或在固定策略上用 recursive self-improvement 自动调参，可替代专家手工设计。对电商场景，可以让 Agent 根据查询意图、候选商品相关性自主丢弃旧工具返回，平衡信息保留与成本；RSI 在论文中进一步比专家策略降本 7.1%。
- 注意位置编码：长会话中即使 active token 减少，RoPE 绝对位置仍会耗尽；引入 repos 重置位置编码（旋转 key）可继续探索，不建议直接牺牲上下文信息。这一点对多轮搜索、翻页、跨页比较场景尤其重要。